Ia mula diperkenalkan pada edisi ke-7 pada tahun 1992 setelah kategori terbuka diubah kepada ktegori berasaskan genre muzik iaitu Balada, Pop Rock dan Etnik Kreatif. Ia bagi membolehkan 10 buah lagu mewakili setiap genre akan dipertandingkan bagi memenuhi empat kerusi yang layak ke peringkat akhir. Pada edisi ke- 24, penganjur kembali menggabungkan semua kategori menjadi terbuka namun separuh akhir masih dijalankan dengan memilih 30 buah lagu yang mempunyai merit yang cukup dalam carta untuk bersaing secara berperingkat selama tiga pusingan bagi merebut 12 (atau 14, bergantung kepada juri) kerusi yang layak ke peringkat akhir. Keputusan diumumkan pada minggu ketiga pertandingan. Kebiasaannya Separuh Akhir Muzik Muzik dijalankan pada pusingan mingguan ke-50 iaitu pada bulan November setiap tahun. Ia membolehkan finalis yang layak ke peringkat akhir membuat persiapan dalam tempoh hampir dua bulan sebelum acara Anugerah Juara Lagu.